Ông được sinh ra tại Little Chelsea, Luân Đôn là con trai của nhà tự nhiên học và dược học Samuel Frederick Gray và vợ ông, bà Elizabeth (née Forfeit).[1] Ông theo học tại trường Merchant Taylor.[2]

Gray bắt đầu làm việc tại Bảo tàng Anh với vai trò là Trợ lý nhánh Động vật học vào năm 1831.

Ông bắt đầu bằng cách lập danh mục côn trùng, và xuất bản Entomology of Australia (Sâu bọ Australia, 1833) và viết bài về lĩnh vực thụ phấn nhờ côn trùng cho một phiên bản tiếng Anh của tạp chí Animal Kingdom của Georges Cuvier. Gray mô tả rất nhiều loài của Bộ Cánh vẩy. Năm 1833, ông là người sáng lập tổ chức tiền thân của Hiệp hội Côn trùng học Hoàng gia Luân Đôn.

Mô tả đầu tiên của Gray về loài chim chính Gray (danh pháp khoa học là Locustella fasciolata), một loài được đặt theo tên ông xuất hiện vào năm 1860. Mẫu vật đã được Alfred Russel Wallace thu thập tại Moluccas. Trong một tiểu sử vắn tắt các tác phẩm của Gray về bọ que, Bragg[3] ghi công trạng Gray với hơn gấp đôi số lượng các loài bọ que đã được đặt tên với ba tác phẩm (vào năm 1833, 1835 và 1843); ba loài bọ que sau đó đã được đặt tên theo Gray.